J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data
J-Zero：从零数据实现 Challenger-Solver-Judge 统一协同进化
🧭 自进化 LLM 训练 · 多角色对抗协同
KAIST
提出 J-Zero 统一 Challenger-Solver-Judge 协同进化框架，以对抗自对弈和已知偏好对在可验证/不可验证域持续提升 LLM
📌 工作参考价值（4 点）
- 使用 Challenger 生成越来越难的用户 query/场景，Solver 学习响应，可构建推荐/搜索 Agent 的难例生成器，提升对长尾 query 和对抗性输入的鲁棒性，无需额外人工标注。
- Judge/Reward Model 训练用「生成结构保证偏序」的合成偏好对（如多步检索-重组答案 > 单步答案）替代自评或人工打分，减少 reward hacking 和噪声；推荐系统的 LLM 评估器可复用此思路。
- 零数据自进化闭环可迁移到电商冷启动或新品类：两个角色互相出题与作答，自动生成微调数据，缓解冷启动样本不足。
- 同时进化多个角色（Challenger/Solver/Judge）比单角色自训练更稳定，持续 10 轮不退化；在线推荐 Agent 持续优化时可借鉴此三模块协同更新机制。